在 IBM Think 會議上，JevMan 團隊開發的 Pac-Man 基準測試揭示，評估人工智慧（AI）決策模型的關鍵在於判斷力與可靠性，而非單純的反應速度，強調 AI 在複雜情境下做出穩定決策的重要性。
在年度的 IBM Think 會議上，人工智慧（AI）的決策能力成為討論焦點。JevMan 團隊開發了一套以經典電玩遊戲 Pac-Man（小精靈）為基礎的基準測試（一種標準化的測量工具，用於比較不同系統或模型的性能），旨在評估 AI 決策模型的實際判斷力，而非僅僅比拼處理速度。
分析師 Wunderlich 強調，AI 決策模型（分析情境並做出最佳行動選擇的演算法）的速度雖然能讓其「進入遊戲」，但真正的勝利仰賴判斷力。他指出，在測試中，速度最快的幾個模型反而得分最低，其中包括一個每毫秒就能擲骰子做出決策的基準模型。這顯示出反應迅速不代表決策品質優良。
JevMan 團隊為每個模型設定兩秒的決策時間，測試結果顯示所有模型平均都能在 400 毫秒內做出反應。其中，表現最佳的 Jev 模型決策時間為 290 毫秒；GPT-6 Luna 雖然僅需 179 毫秒，但得分略低。而 Clef 即使是其中最慢的模型，決策時間為 398 毫秒，卻仍超越了半數受測模型，證明速度並非決定性因素。Wunderlich 解釋，儘管 Pac-Man 在轉彎處會等待決策，但一次錯誤的判斷就可能導致生命損失，因此模型的得分更取決於其避免犯下關鍵錯誤的能力。
為確保評估的可靠性，每個模型都需進行 100 場遊戲，最終排名以平均分數和誤差範圍為依據。Wunderlich 表示：「一個精彩的遊戲可能是運氣，但一個高平均分數則不能。」例如，Kev 4B 雖在最佳一場遊戲中獲得 5,280 分，超越了體積大其六倍的 Clef，但其平均分數僅為 1,506 分。這項測試也證明，模型偶爾的正確決策與持續性的可靠表現是兩種不同的技能，而當 AI 需為用戶做出數千個決策時，後者才是唯一關鍵。
在成本方面，每個模型的每場遊戲費用不到兩美分。其中，EmpirioLabs 的首款模型 Aplomb 1 最為經濟，每場遊戲約耗費七分之一美分，且能以最低成本獲取最高分數。Clef Flash 則能以三分之一美分的成本達到頂級表現。對台灣的 AI 遊戲開發者和演算法研究人員而言，這項測試提供了一個重要啟示：在追求更高效能的 AI 模型時，應更側重於模型在複雜環境下的判斷力、決策品質與長期可靠性，而非一味追求速度，以確保 AI 系統能做出更穩定且有效的決策。